PailitaoGR: Latent Think-with-Images for Generative Image Retrieval
PailitaoGR：生成式图像检索中的潜在以图思考方法
🧭 生成式检索 · Semantic ID · 视觉商品搜索 ★ 深度解读
Alibaba Group
在原始查询图上内化目标聚焦与选择性辅助证据利用，实现不裁剪缩放与不 OCR 阅读，生成式检索平均提升 13.8%
📌 工作参考价值（4 点）
- 在拍立淘类图像检索/生成式推荐中，可借鉴“能力内化”架构：用轻量 Target Token Scoring + Token-level Residual Modulation 对 visual token 做目标加权，不改变主干，推理零额外延迟；把显式 grounding/crop/OCR 能力蒸馏进单一模型，避免多步工具调用。
- On-policy distillation 对自回归 SID 生成很有价值：教师和学生共享学生自己采样的 prefix，蒸馏 top-K 候选分布，比 ground-truth prefix 蒸馏更贴近推理时的错误前缀场景，能降低 train-inference mismatch。
- 利用 SID 的 coarse-to-fine 结构设计 attention guidance：fine/medium token 用 ROT mask 惩罚目标框外注意力，coarse token 保持高熵广注意；这一思路可迁移到任何 hierarchical Semantic ID 的商品检索，提高解码对主体商品的判别性。
- 辅助信息（如 OCR 文本、品牌标）引入要加 utility/accessibility 双门控：只有当 OCR 教师相对 Crop 教师有增益且学生自己也能利用该信号时才 transfer，否则 suppress/skip；能避免无关水印或背景文字误导，适合电商 query 图中常见噪声。